人类视频运动转移（HVMT）的目的是鉴于源头的形象，生成了模仿驾驶人员运动的视频。 HVMT的现有方法主要利用生成对抗网络（GAN），以根据根据源人员图像和每个驾驶视频框架估计的流量来执行翘曲操作。但是，由于源头，量表和驾驶人员之间的巨大差异，这些方法始终会产生明显的人工制品。为了克服这些挑战，本文提出了基于gan的新型人类运动转移（远程移动）框架。为了产生逼真的动作，远遥采用了渐进的一代范式：它首先在没有基于流动的翘曲的情况下生成每个身体的零件，然后将所有零件变成驾驶运动的完整人。此外，为了保留自然的全球外观，我们设计了一个全球对齐模块，以根据其布局与驾驶员的规模和位置保持一致。此外，我们提出了一个纹理对准模块，以使人的每个部分都根据纹理的相似性对齐。最后，通过广泛的定量和定性实验，我们的远及以两个公共基准取得了最先进的结果。

由于其广泛的应用，例如自动驾驶，机器人技术等，认识到Point Cloud视频的人类行为引起了学术界和行业的极大关注。但是，当前的点云动作识别方法通常需要大量的数据，其中具有手动注释和具有较高计算成本的复杂骨干网络，这使得对现实世界应用程序不切实际。因此，本文考虑了半监督点云动作识别的任务。我们提出了一个蒙版的伪标记自动编码器（\ textbf {Maple}）框架，以学习有效表示，以较少的注释以供点云动作识别。特别是，我们设计了一个新颖有效的\ textbf {de}耦合\ textbf {s} patial- \ textbf {t} emporal trans \ textbf {pert}（\ textbf {destbrof {destformer}）作为maple的backbone。在Destformer中，4D点云视频的空间和时间维度被脱钩，以实现有效的自我注意，以学习长期和短期特征。此外，要从更少的注释中学习判别功能，我们设计了一个蒙版的伪标记自动编码器结构，以指导Destformer从可用框架中重建蒙面帧的功能。更重要的是，对于未标记的数据，我们从分类头中利用伪标签作为从蒙版框架重建功能的监督信号。最后，全面的实验表明，枫树在三个公共基准上取得了优异的结果，并且在MSR-ACTION3D数据集上以8.08 \％的精度优于最先进的方法。

现有的步态识别研究以实验室场景为主。由于人们生活在现实世界中，因此野外的步态识别是一个更实用的问题，最近引起了多媒体和计算机视觉社区的关注。在现有基准上获得最先进性能的当前方法在最近提出的野外数据集上的准确性差得多，因为这些方法几乎无法模拟不受约束场景中步态序列的各种时间动力学。因此，本文提出了一种新型的多跳时间开关方法，以实现实际场景中步态模式的有效时间建模。具体来说，我们设计了一个新型的步态识别网络，称为多跳临时交换机网络（MTSGait），以同时学习空间特征和多尺度的时间功能。与现有的3D卷积进行时间建模的方法不同，我们的MTSGAIT通过2D卷积对步态序列的时间动力学进行建模。通过这种方式，与基于3D卷积的模型相比，它以较少的模型参数来达到高效率，并减少了优化的难度。基于2D卷积内核的特定设计，我们的方法可以消除相邻帧之间特征的不对准。此外，提出了一种新的采样策略，即非环保连续采样，以使模型学习更强大的时间特征。最后，与最新方法相比，提出的方法在两个公共步态数据集（即增长和步态3D）上取得了出色的性能。

人类运动转移是指合成的照片现实和时间连贯的视频，使一个人能够模仿他人的运动。但是，当前的合成视频遭受了序列帧的时间不一致，这些框架显着降低了视频质量，但远未通过像素域中的现有方法来解决。最近，由于图像合成方法的频率不足，一些有关DeepFake检测的作品试图区分频域中的自然图像和合成图像。尽管如此，从自然和合成视频之间的频域间隙方面的各个方面研究合成视频的时间不一致。在本文中，我们建议深入研究频率空间，以进行时间一致的人类运动转移。首先，我们对频域中的自然和合成视频进行了首次综合分析，以揭示单个帧的空间维度和视频的时间维度的频率差距。为了弥补自然视频和合成视频之间的频率差距，我们提出了一个新型的基于频率的人类运动转移框架，名为Fremotr，该框架可以有效地减轻空间伪像以及合成视频的时间不一致。 Fremotr探索了两个基于频率的新型正则化模块：1）频域外观正则化（FAR），以改善个人在单个帧中的外观和2）时间频率正则化（TFR），以确保相邻框架之间的时间一致性。最后，全面的实验表明，FremoTR不仅在时间一致性指标中产生卓越的性能，而且还提高了合成视频的框架级视觉质量。特别是，时间一致性指标比最新模型提高了近30％。

从医用试剂染色图像中分割牙齿斑块为诊断和确定随访治疗计划提供了宝贵的信息。但是，准确的牙菌斑分割是一项具有挑战性的任务，需要识别牙齿和牙齿斑块受到语义腔区域的影响（即，在牙齿和牙齿斑块之间的边界区域中存在困惑的边界）以及实例形状的复杂变化，这些变化均未完全解决。现有方法。因此，我们提出了一个语义分解网络（SDNET），该网络介绍了两个单任务分支，以分别解决牙齿和牙齿斑块的分割，并设计了其他约束，以学习每个分支的特定类别特征，从而促进语义分解并改善该类别的特征牙齿分割的性能。具体而言，SDNET以分裂方式学习了两个单独的分割分支和牙齿的牙齿，以解除它们之间的纠缠关系。指定类别的每个分支都倾向于产生准确的分割。为了帮助这两个分支更好地关注特定类别的特征，进一步提出了两个约束模块：1）通过最大化不同类别表示之间的距离来学习判别特征表示，以了解判别特征表示形式，以减少减少负面影响关于特征提取的语义腔区域； 2）结构约束模块（SCM）通过监督边界感知的几何约束提供完整的结构信息，以提供各种形状的牙菌斑。此外，我们构建了一个大规模的开源染色牙菌斑分割数据集（SDPSEG），该数据集为牙齿和牙齿提供高质量的注释。 SDPSEG数据集的实验结果显示SDNET达到了最新的性能。

视频的行动识别，即将视频分类为预定义的动作类型之一，一直是人工智能，多媒体和信号处理社区中的一个流行话题。但是，现有方法通常考虑一个整体上的输入视频并学习模型，例如卷积神经网络（CNNS），并带有粗糙的视频级别类标签。这些方法只能为视频输出一个动作类，但不能提供可解释的线索来回答为什么视频显示特定的动作。因此，研究人员开始专注于一项新任务，部分级别的动作解析（PAP），该作用不仅旨在预测视频级别的动作，而且还要认识到每个人的框架级别的细粒度的动作或身体部位的相互作用在视频中。为此，我们为这项具有挑战性的任务提出了一个粗到精细的框架。特别是，我们的框架首先预测输入视频的视频级别类别，然后将身体部位定位并预测零件级别的动作。此外，为了平衡部分级别的动作解析的准确性和计算，我们建议通过段级特征识别零件级的操作。此外，为了克服身体部位的歧义，我们提出了一种姿势引导的位置嵌入方法来准确地定位身体部位。通过在大规模数据集（即动力学TPS）上进行的全面实验，我们的框架可以实现最先进的性能，并且超过31.10％的ROC得分的现有方法。

该技术报告介绍了我们在ICCV DeeperAction研讨会上进行零件级动作解析的动力学-TPS轨道的第二名解决方案。2021年。我们的条目主要基于yolof，例如，零件检测，HRNET用于人体姿势估计，以及用于视频级别的CSN行动识别和框架级别的部分状态解析。我们描述了动力学-TPS数据集的技术细节，以及一些实验结果。在比赛中，我们在动力学TPS的测试集上获得了61.37％的地图。

点云的任务上采样的旨在从稀疏和不规则的点集获取密集和统一的点集。尽管通过深度学习模型取得了重大进展，但最先进的方法需要基于地面的密集点集作为监督，这使得它们有限地受到合成配对训练数据的培训，并且不适合进行现实。扫描稀疏数据。但是，获得大量的配对稀疏点集作为来自实际扫描的稀疏数据的监督，这是昂贵且乏味的。为了解决这个问题，我们提出了一个名为spu-net的自我监督点云上采样网络，以捕获位于基础对象表面上的固有的上采样模式。具体而言，我们提出了一个粗到精细的重建框架，该框架分别包含两个主要组成部分：点特征提取和点特征扩展。在点特征提取中，我们将自我发项模块与图形卷积网络（GCN）集成在一起，以同时捕获本地区域内部和之间的上下文信息。在点功能扩展中，我们引入了一种可学习的折叠策略，以生成具有可学习的2D网格的上采样点集。此外，为了进一步优化生成点集中的嘈杂点，我们提出了一种与统一和重建项相关的新颖的自预测优化，作为促进自我监督点云的关节损失。我们对合成数据集进行了各种实验，结果表明，我们实现了与最先进的监督方法相当的性能。

2D-to-3D reconstruction is an ill-posed problem, yet humans are good at solving this problem due to their prior knowledge of the 3D world developed over years. Driven by this observation, we propose NeRDi, a single-view NeRF synthesis framework with general image priors from 2D diffusion models. Formulating single-view reconstruction as an image-conditioned 3D generation problem, we optimize the NeRF representations by minimizing a diffusion loss on its arbitrary view renderings with a pretrained image diffusion model under the input-view constraint. We leverage off-the-shelf vision-language models and introduce a two-section language guidance as conditioning inputs to the diffusion model. This is essentially helpful for improving multiview content coherence as it narrows down the general image prior conditioned on the semantic and visual features of the single-view input image. Additionally, we introduce a geometric loss based on estimated depth maps to regularize the underlying 3D geometry of the NeRF. Experimental results on the DTU MVS dataset show that our method can synthesize novel views with higher quality even compared to existing methods trained on this dataset. We also demonstrate our generalizability in zero-shot NeRF synthesis for in-the-wild images.

Panoptic图像分割是计算机视觉任务，即在图像中查找像素组并为其分配语义类别和对象实例标识符。由于其在机器人技术和自动驾驶中的关键应用，图像细分的研究变得越来越流行。因此，研究社区依靠公开可用的基准数据集来推进计算机视觉中的最新技术。但是，由于将图像标记为高昂的成本，因此缺乏适合全景分割的公开地面真相标签。高标签成本还使得将现有数据集扩展到视频域和多相机设置是一项挑战。因此，我们介绍了Waymo Open DataSet：全景视频全景分割数据集，这是一个大型数据集，它提供了用于自主驾驶的高质量的全景分割标签。我们使用公开的Waymo打开数据集生成数据集，利用各种相机图像集。随着时间的推移，我们的标签是一致的，用于视频处理，并且在车辆上安装的多个摄像头保持一致，以了解全景的理解。具体而言，我们为28个语义类别和2,860个时间序列提供标签，这些标签由在三个不同地理位置驾驶的自动驾驶汽车上安装的五个摄像机捕获，从而导致总共标记为100k标记的相机图像。据我们所知，这使我们的数据集比现有的数据集大量数据集大的数量级。我们进一步提出了一个新的基准，用于全景视频全景分割，并根据DeepLab模型家族建立许多强大的基准。我们将公开制作基准和代码。在https://waymo.com/open上找到数据集。